Agentic Discovery of Neural Architectures: AIRA-Compose and AIRA-Design
基于智能体的神经架构自主发现：AIRA-Compose 与 AIRA-Design
🧭 Agent 驱动的神经架构自动发现
FAIR at Meta
用多智能体协作在有限预算内自主搜索 Transformer-Mamba 混合架构，性能与效率超越人工设计基准
📌 工作参考价值（4 点）
- 多智能体组合搜索可复用：在电商推荐模型的 CTR/序列模块中，可借鉴AIRA的11-agent协作模式，将Attention、MLP、Mamba等计算原语作为搜索空间，用固定GPU预算自动探索高效混合架构，减少人工试错成本。
- 小尺度评估+外推策略：对推荐模型结构搜索，先在百万参数量级快速评估候选设计，再extrapolate到生产级大模型，这种“低成本过滤”能显著提升搜索效率，可复用于召回、排序模型的架构迭代。
- 直接由Agent编写算子与脚本：AIRA-Design让Agent生成注意力机制和训练脚本，这一思路可迁移至长序列推荐场景（如用户行为序列），自动优化长程依赖处理，降低对专家手工设计的依赖。
- 固定预算下的多Agent竞赛机制：多个Agent在限定时间/资源内并行提出方案并相互评估，这种竞争性协作可应用于推荐系统的超参优化、特征工程自动化，快速找到性价比最高的配置。